傾き，\(\Large \displaystyle \hat{a_1} \)，の推定
では微分してみましょう．
まずは，\(\Large \displaystyle \hat{a_0} \)，から
\(\Large \displaystyle S \left( \hat{a_0}, \hat{a_1} \right) = \sum_{i=1}^{n} \hat{u_i}^2 = \sum_{i=1}^{n} \left( Y_i - \hat{a_0} - \hat{a_1} X_i \right)^2 \)
ですので，
\(\Large \begin{eqnarray} \displaystyle \frac{ \partial S \left( \hat{a_0}, \hat{a_1} \right) }{ \partial \hat{a_0} } &=& \frac{ \partial }{ \partial \hat{a_0}} \sum_{i=1}^{n} \left( Y_i - \hat{a_0} - \hat{a_1} X_i \right)^2\\
&=&
\frac{ \partial }{ \partial \hat{a_0}} \sum_{i=1}^{n} Y_i^2 + \frac{ \partial }{ \partial \hat{a_0}} \sum_{i=1}^{n} \hat{a_0}^2 + \frac{ \partial }{ \partial \hat{a_0}}\sum_{i=1}^{n} \hat{a_1}^2 X_i^2 \\
&& - 2 \frac{ \partial }{ \partial \hat{a_0}} \sum_{i=1}^{n}
\hat{a_0} Y_i - 2 \frac{ \partial }{ \partial \hat{a_0}} \sum_{i=1}^{n}
\hat{a_1}X_i Y_i + 2 \frac{ \partial }{ \partial \hat{a_0}} \sum_{i=1}^{n}
\hat{a_0} \hat{a_1}X_i \\
\end{eqnarray} \)
\(\Large \displaystyle \hat{a_0} \)による微分なので，\(\Large \displaystyle \hat{a_0} \)が含まれていない項は０となります．
したがって，
\(\Large \displaystyle \frac{ \partial S \left( \hat{a_0}, \hat{a_1} \right) }{ \partial \hat{a_0} }
= 2 \sum_{i=1}^{n} \hat{a_0}
- 2 \sum_{i=1}^{n}
Y_i + 2 \sum_{i=1}^{n}
\hat{a_1}X_i =0
\)
\(\Large \displaystyle \sum_{i=1}^{n} Y_i - \sum_{i=1}^{n} \hat{a_0} - \sum_{i=1}^{n} \hat{a_1}X_i =0 \)
まとめると，
\(\Large \displaystyle \sum_{i=1}^{n} \left( Y_i - \hat{a_0} - \hat{a_1}X_i \right) =0 \)
となります．
次は，\(\Large \displaystyle \hat{a_1} \)，を計算してみます．
\(\Large \begin{eqnarray} \displaystyle \frac{ \partial S \left( \hat{a_0}, \hat{a_1} \right) }{ \partial \hat{a_1} } &=& \frac{ \partial }{ \partial \hat{a_1}} \sum_{i=1}^{n} \left( Y_i - \hat{a_0} - \hat{a_1} X_i \right)^2\\
&=&
\frac{ \partial }{ \partial \hat{a_1}} \sum_{i=1}^{n} Y_i^2 + \frac{ \partial }{ \partial \hat{a_1}} \sum_{i=1}^{n} \hat{a_0}^2 + \frac{ \partial }{ \partial \hat{a_1}}\sum_{i=1}^{n} \hat{a_1}^2 X_i^2 \\
&& - 2 \frac{ \partial }{ \partial \hat{a_1}} \sum_{i=1}^{n}
\hat{a_0} Y_i - 2 \frac{ \partial }{ \partial \hat{a_1}} \sum_{i=1}^{n}
\hat{a_1}X_i Y_i + 2 \frac{ \partial }{ \partial \hat{a_1}} \sum_{i=1}^{n}
\hat{a_0} \hat{a_1}X_i \\
\end{eqnarray} \)
\(\Large \displaystyle \hat{a_1} \)による微分なので，\(\Large \displaystyle \hat{a_1} \)が含まれていない項は０となります．
したがって，
\(\Large \displaystyle \frac{ \partial S \left( \hat{a_0}, \hat{a_1} \right) }{ \partial \hat{a_1} }
= 2 \sum_{i=1}^{n} \hat{a_1} X_i^2
- 2 \sum_{i=1}^{n}
X_i Y_i + 2 \sum_{i=1}^{n}
\hat{a_0}X_i =0
\)
\(\Large \displaystyle \sum_{i=1}^{n} X_i Y_i - \sum_{i=1}^{n} \hat{a_0} X_i - \sum_{i=1}^{n} \hat{a_1}X_i^2 =0 \)
まとめると，
\(\Large \displaystyle \sum_{i=1}^{n} \left( X_i Y_i - \hat{a_0} X_i - \hat{a_1}X_i^2 \right) =0 \)
\(\Large \displaystyle \sum_{i=1}^{n} X_i \left( Y_i - \hat{a_0} - \hat{a_1}X_i \right) =0 \)
となります．
ここで，整理すると，
\(\Large \displaystyle \sum_{i=1}^{n} Y_i = n \hat{a_0} + \sum_{i=1}^{n} \hat{a_1}X_i \)
\(\Large \displaystyle \frac{1}{n} \sum_{i=1}^{n} Y_i = \hat{a_0} + \frac{1}{n} \sum_{i=1}^{n} \hat{a_1}X_i \)
左辺はYの平均，右辺第二項はXの平均なので，
\(\Large \bar{Y} = \hat{a_0} + \hat{a_1} \bar{X} \)
となります．また，
\(\Large \begin{eqnarray} \displaystyle \sum_{i=1}^{n} X_i Y_i &=& \hat{a_0} \sum_{i=1}^{n} X_i
+
\hat{a_1} \sum_{i=1}^{n} X_i^2 \\
&=&
\hat{a_0} n \bar{X}+\hat{a_1} \sum_{i=1}^{n} X_i^2 \\
&=&
\left( \bar{Y} - \hat{a_1} \bar{X} \right) n \bar{X}+\hat{a_1} \sum_{i=1}^{n} X_i^2 \\
&=&
n \bar{X} \bar{Y} + \hat{a_1} \left( \sum_{i=1}^{n} X_i^2 - n \bar{X}^2 \right) \\
\end{eqnarray} \)
となりますので，\(\Large \hat{a_1} \)は，
\(\Large \displaystyle \hat{a_1} = \frac{\sum_{i=1}^{n} X_i Y_i - n \bar{X} \bar{Y}}{\sum_{i=1}^{n} X_i^2 - n \bar{X}^2} \)
となります．ここで，分子は，
\(\Large \displaystyle \sum_{i=1}^{n} X_i Y_i - n \bar{X} \bar{Y} = \sum_{i=1}^{n} \left(X_i Y_i - \bar{X} \bar{Y} \right) \)
ですが，
\(\Large \begin{eqnarray} \displaystyle
\sum_{i=1}^{n} \left(X_i - \bar{X} \right) \left(Y_i - \bar{Y} \right) &=&
\sum_{i=1}^{n} \left(X_i Y_i - X_i \bar{Y} - Y_i \bar{X} +\bar{X} \bar{Y} \right) \\
&=&
\sum_{i=1}^{n} X_i Y_i - n\bar{X} \bar{Y}-n\bar{X} \bar{Y}+n\bar{X} \bar{Y} \\
&=&
\sum_{i=1}^{n} X_i Y_i - n\bar{X} \bar{Y} \\
\end{eqnarray} \)
となります．
分母も，
\(\Large \displaystyle \sum_{i=1}^{n} X_i^2 - n \bar{X}^2 = \sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2\)
となるので，
\(\Large \color{red}{\displaystyle \hat{a_1} = \frac{ \displaystyle \sum_{i=1}^{n} \left(X_i - \bar{X} \right) \left(Y_i - \bar{Y} \right)}{ \displaystyle \sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2}} \)
となります，ここで，
\(\Large \displaystyle S_{XY} \equiv \frac{1}{n} \sum_{i=1}^{n} \left(X_i - \bar{X} \right) \left(Y_i - \bar{Y} \right) \)
\(\Large \displaystyle S_{XX} \equiv \frac{1}{n} \sum_{i=1}^{n} \left(X_i - \bar{X} \right)^2 \)
とすると，
\(\Large \color{red}{\displaystyle \hat{a_1} = \frac{S_{XY} }{S_{XX}}} \)
と簡単に記すことができます．
では，次に切片，\(\Large \displaystyle \hat{a_0} \)，を求めていきましょう．